“欧洲版 OpenAI” Mistral 的代码模型 CodeStral，又上新了！ 而且与 DeepSeek V2.5 和 Claude 3.5 平起平坐，共同位列 Copilot 竞技场第一名。
大模型长序列的处理能力已越来越重要，像复杂长文本任务、多帧视频理解任务、以及 OpenAI 近期发布的 o1、o3 系列模型的高计算量模式，需要处理的输入 + 输出总 token 数从几万量级上升到了几百万量级。
这份《2024年AI应用行业年度报告》是由Xsignal打造的AI年终盘点大餐。全报告共78页，数据之翔实和页面之精美程度冠绝2024。添加客服微信 openai178，免费获取完整PDF。
2023 年初，Jason Wei 加入了 OpenAI，参与了 ChatGPT 的构建以及 o1 等重大项目。他的工作使思维链提示、指令微调和涌现现象等技术和概念变得广为人知。
Anthropic 的崛起是2024年全球 AI 产业最受瞩目的现象之一，它是 OpenAI 强有力的挑战者，令很多厌倦了 OpenAI 式虚张声势和夸大其词的 AI 研究者和开发者耳目一新。
过去一段时间，“预训练终结”成为了 AI 领域最热烈的讨论之一。OpenAI的GPT系列模型此前大踏步的前进，预训练是核心推动力。而前 OpenAI 首席科学家 Ilya Sutskever、预训练和scaling law（规模定律）最忠实的倡导者，却宣称预训练要终结了、scaling law要失效。由此，引发了大量争议。
我们全文翻译了这些内部交流记录，在保留语言风格、不改变原意的前提下适当编辑，并按照时间线整理，以尽可能完整呈现他们交流的情况。
昨天写完DeepSeek-V3的文章，看到一段吐槽： OpenAI 是一家以创造先进人工智能技术为目标的公司。DeepSeek-V3，是在一个开源系统上进行性能和成本效益优化的。看起来有点偷懒。
在2024年，谷歌以其耀眼的业绩和股价，成为了华尔街的宠儿。
Transformer——支撑像 OpenAI 的 ChatGPT 和 Anthropic 的 Claude 这样的聊天机器人的基础 AI 技术——正在帮助机器人更快地学习。
